Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents
Agentic CLEAR：LLM 代理系统的多层级自动评估框架
🧭 代理行为多层级自动评估 ★ 深度解读
IBM Research
一种无需预定义错误分类的动态多粒度代理评估方法，自动生成系统、节点与步骤级的文本诊断洞察
📌 工作参考价值（4 点）
- 多粒度自动诊断：可将步骤级、trace级、系统级评估嵌入电商 Agent 开发流水线，自动发现重复工具调用、策略错误、输出格式违规等问题，替代人工逐条检查 trace。
- 无需预定义错误分类：动态生成评估维度（rubric）和错误模式，适合频繁变化的推荐流程或购物 Agent，大幅降低适配成本。
- 可集成到已有观测平台：支持 LangFuse 格式，提供 PyPI 包，可以快速接入现有 Agent 观测系统，利用 LLM Judge 输出补充自动评分以外的文本解释。
- 对齐人类标注的可靠参考：与 TRAIL 错误分类的 macro-F1 达 0.459，能够替代部分人工审核，尤其适用于线上 Agent 质量监控与回归检测。